Yakushima được định cư từ Thời kỳ Jōmon. Nó lần đầu được đề cập trong các tài liệu văn bản thời nhà Tùy của Trung Quốc thế kỷ thứ 6 và trong Shoku Nihongi của Nhật Bản tại một văn bản năm 702. Nó như là một phần của tỉnh Tane cổ đại và thường được nhắc đến trong nhật ký của du khách giữa nhà Đường của Trung Quốc và thời kỳ Nara Nhật Bản. Trong thời kỳ Edo, hòn đảo được cai trị bởi Gia tộc Shimazu ở Lãnh địa Satsuma và được coi là một phần của tỉnh Ōsumi. Trong quá trình Cải cách Minh Trị, hòn đảo được quản lý như là một phần của tỉnh Kagoshima. Năm 2017, hòn đảo bị cơn bão Noru đi qua, khiến một người trên đảo thiệt mạng.